Fue al parecer debido a la pérdida temprana de sus padres que asistió a la escuela secundaria en Zwickau, donde fue alumno de Cornelius Freundt. A pesar de que no completó sus estudios universitarios fue nombrado Kantor en la cercana Reichenbach en 1590 y sucedió a Freundt en Zwickau en 1591. Desde 1604 hasta su muerte, fue Kapellmeister de la corte de Weimar, sucediendo a Johannes Herold y como antecesor de Johann Hermann Schein. Su producción como compositor, que no es muy amplia, se compone sobre todo de obras sacras ocasionales y también de música litúrgica -una misa en latín, motetes en latín e himnos alemanes.

Tenía una tendencia hacia las sonoridades fuertes: varias de sus obras más importantes están escritas para doble coro, totalizando ocho partes, mientras que su motete "Laetare cum uxore", compuesto para el matrimonio del elector Johann Georg de Sajonia y Magdalena Sibylle de Brandenburgo en 1607, está en 18 partes y tres grupos corales independientes y es su obra más ambiciosa.

Es más importante, sin embargo, por tres colecciones de manuscritos que compiló en Zwickau, la mayor parte por su propia mano; contienen un repertorio valioso e interesante de música litúrgica elaborado a partir del período de Orlande de Lassus, Jacob Handl y Hans Leo Hassler. Varias obras poéticas de Stolle también han sobrevivido.